集智数据集|输入关键词搜索

供您参考使用

搜索结果|共18条数据

耗时:7/毫秒

自然语言处理
中文垃圾邮件分类数据集 2025-05-13 10:04:21

468 54

中文垃圾邮件分类数据集简介
本数据集是针对电子邮件分类任务构建的规范化中文语料库,旨在为垃圾邮件检测模型的训练与评估提供多维度特征支持。其核心特点如下:

1. 数据集概述

  • 规模与结构:共包含3980个规范化JSON文件,每个文件独立存储一封邮件的完整信息,并按垃圾邮件(spam)与正常邮件(normal)两类进行标注,形成二元分类基础。
  • 数据来源:邮件内容覆盖商业推广、虚假中奖通知、金融诈骗、日常通信等典型场景,贴近中文用户真实邮箱环境。
  • 标注质量:所有邮件均经过人工或自动化验证,确保类别标签的准确性,可直接用于监督学习任务。

2. 数据组成与特征

每封邮件的JSON结构包含以下关键字段,支持从语义、统计、时间等多角度进行特征分析:

a. 核心字段

  • 邮件主题(subject):反映邮件意图的短文本,垃圾邮件常含“免费领取”“限时特惠”“账户异常”等诱导性词汇。
  • 邮件正文(body):长文本内容,垃圾邮件多含重复促销信息、嵌入超链接或诱导用户点击的互动话术。
  • 发件时间(date):精确到分钟的时间戳,可用于分析垃圾邮件的发送时段规律(如深夜或节假日高发)。
  • 邮件头信息(header):包含发件服务器IP、传输路径等技术信息,辅助识别伪造发件地址或可疑邮件源。

b. 结构化特征字段

  • 文本特征(text_features):基于分词与词频提取的关键词(如“中奖”“投资机会”“VIP特权”)及高频词组,凸显垃圾邮件的语义倾向。
  • 结构特征(structure_features):统计邮件长度、段落数、链接/图片数量等,垃圾邮件普遍存在长文本、多链接(如广告跳转URL)的特点。
  • 特殊字符特征(special_character_features):检测异常符号(如❗、$$、###)及HTML标签密度,垃圾邮件常通过视觉冲击性符号吸引注意。

3. 应用场景

  • 分类模型开发:适用于训练朴素贝叶斯、SVM、深度学习(如LSTM、Transformer)等分类算法。
  • 特征工程研究:通过对比文本、结构与符号特征的组合效果,优化特征选择策略。
  • 发送行为分析:结合时间字段,挖掘垃圾邮件发送者的时间分布规律与潜在攻击模式。

4. 数据集优势

  • 多维特征融合:同时包含原始文本与结构化特征,避免单一模态的分析局限性。
  • 真实性高:邮件内容涵盖仿冒通知、钓鱼链接等复杂类型,模拟真实对抗场景。
  • 可扩展性强:支持与外部词库(如敏感词库、黑名单域名)结合,增强模型泛化能力。

5. 潜在挑战与建议

  • 类别平衡性:需检查垃圾邮件与正常邮件的比例,必要时通过过采样或数据增强优化分布。
  • 隐私合规性:邮件内容已脱敏处理,实际应用中需注意避免引入用户个人信息。
  • 动态对抗:需定期更新数据集以应对新型垃圾邮件话术演变(如当前流行的AI生成内容)。

本数据集可作为学术研究与工业界开发的基础资源,为中文自然语言处理、网络安全等领域提供标准化评测基准。


# 垃圾邮件检测 # 邮件安全防护 # 中文自然语言处理 # NLP算法应用 # 邮件分类技术 # 网络安全解决方案 # 机器学习数据集 # AI反欺诈技术 # 电子邮件特征分析 # 2025网络安全趋势


自然语言处理
国内&国际新闻,多维度新闻分析增强数据集 2025-05-05 23:19:43

157 27

数据集名称:多维度新闻分析增强数据集
数据集格式:

主数据集:.json文件集合
预览文件:
.xlsx 表格

数据集内容:

本数据集是为训练新闻分析AI与信息处理系统设计的多维度结构化语料库。数据覆盖国内国际双重视角的新闻事件,包含政治、经济、科技、社会民生等全方位领域,适用于自然语言处理模型训练、舆情分析系统开发、事件脉络可视化工具构建等多种场景。

数据集字段描述:

标题:新闻原标题,精确概括核心事件
类别:国际/国内双标签分类
内容:完整的新闻正文文本
内容长度:文本字符数统计
段落数:正文段落划分统计
关键词:通过TextRank算法提取的TOP5关键词
实体集合:识别的命名实体及其类型(人物/地点/组织等)
时间标记:新闻中提取的重要时间节点
情感倾向(可扩展字段):待填充的情感分析标签
摘要(可扩展字段):待填充的新闻概要文本

新闻分类维度:

本数据集通过多维度标签体系构建知识框架:

  1. 地域分类:国内/国际双标签体系
  2. 主题分类(可扩展):政治外交经济贸易科技创新社会民生军事安全生态环境文体教育
  3. 时效性分级:通过时间标记密度评估事件时效强度
  4. 实体网络:构建人物-组织-地点关联图谱

应用场景:

  1. 智能新闻聚合:实现自动化的新闻分类与专题聚合
  2. 舆情分析系统:通过实体识别与情感分析监测社会热点
  3. 事件脉络分析:基于时间标记构建事件发展时间线
  4. 知识图谱构建:建立政治经济实体关系网络
  5. 多语言新闻生成:基于结构化数据生成多语种新闻简报
  6. 媒体影响力评估:通过内容特征分析报道倾向性

数据集规模与质量:

数据量:包含4000+条精选新闻,覆盖2年时间跨度
数据深度:每条新闻包含8+个分析维度特征
质量保障:经过双重清洗校验,实体识别准确率>92%
扩展性:保留原始文本与结构化数据的双轨存储格式

适用用户:

• 媒体与舆情监测机构
• 自然语言处理研发团队
• 社会科学研究人员
• 政府政策分析部门
• 跨国企业战略规划团队

本数据集通过深度结构化处理,将原始新闻转化为可追溯、可分析、可扩展的AI友好型数据资源,为新闻领域的人工智能应用提供多维度分析基础。


# 国内新闻 # 国际动态 # 时政要闻 # 经济趋势 # 科技前沿 # 社会热点 # 民生政策 # 军事安全 # 生态环境 # 文化教育 # 全球观察 # 地方新闻 # 权威发布 # 深度分析 # 舆情聚焦 # 突发事件 # 数据新闻 # 行业洞察 # 政府公告 # 专家解读 # 每日简报 # 现场直击 # 专题报道 # 热点追踪 # 改革动态 # 发展白皮书 # 一带一路 # 粤港澳大湾区 # 长三角经济圈 # 京津冀协同发展


自然语言处理
水产养殖知识问答数据集,可用于水产养殖问答知识库等应用 2025-01-02 14:20:19

623 42

数据集简介:

本数据集**"水产养殖知识问答数据集"** 包含了约13,000条与水产养殖相关的问答对,每条数据记录了提问、回答及其对应的拼音、问题类型、分词结果和哈希值。该数据集旨在为水产养殖领域的自然语言处理、问答系统、信息检索等研究提供基础数据支持。

数据字段说明:

  1. id: 唯一标识每条记录的编号。
  2. 水产养殖提问: 用户提出的与水产养殖相关的问题。
  3. 水产养殖提问拼音: 对应提问的拼音转写。
  4. 水产养殖回答: 对应问题的解答。
  5. 水产养殖回答拼音: 对应回答的拼音转写。
  6. 水产养殖问题类型: 问题的分类标签,如“疾病防治”、“饲料管理”等。
  7. 水产养殖提问分词: 提问的分词结果,用“|”分隔。
  8. 水产养殖回答分词: 回答的分词结果,用“|”分隔。
  9. 哈希值: 用于数据完整性校验的哈希值。

该数据集经过清洗和预处理,适用于水产养殖领域的文本分析、问答系统开发、信息检索等任务。希望该数据集能够为相关研究和应用提供有力支持。


# 水产养殖 # 问答数据集 # NLP数据集 # 中文问答 # 文本分类 # 数据预处理 # 机器学习数据集 # 渔业问答


| 友情链接: | 网站地图 | 更新日志 |


Copyright ©2025 集智软件工作室. 皖ICP备2025082424号-1 本站数据文章仅供研究、学习用途,禁止商用,使用时请注明数据集作者出处;本站数据均来自于互联网,如有侵权请联系本站删除。